受认知启发的 NLP 利用人类数据来教机器语言处理机制。最近,神经网络已经通过行为数据得到增强,以解决一系列涵盖语法和语义的 NLP 任务。我们是第一个利用神经科学数据,即脑电图 (EEG),为神经注意力模型提供有关人类大脑语言处理的信息的人。处理 EEG 数据的挑战在于特征非常丰富,需要大量预处理才能分离特定于文本处理的信号。我们设计了一种方法来寻找这样的 EEG 特征,通过将理论驱动的裁剪与随机森林树分割相结合来监督机器注意力。经过这种降维后,预处理的 EEG 特征能够区分从公开的 EEG 语料库中检索到的两个阅读任务。我们应用这些特征来规范关系分类的注意力,并表明 EEG 比强基线更具信息量。这种改进取决于任务的认知负荷和 EEG 频域。因此,用 EEG 信号通知神经注意力模型是有益的,但需要进一步研究以了解哪些维度在 NLP 任务中最有用。
![arXiv:2006.05113v2 [cs.CL] 2020 年 10 月 2 日PDF文件第1页](/bimg/e/eeaf37f43654d7c069e640042303b015d95dd9d8.webp)
![arXiv:2006.05113v2 [cs.CL] 2020 年 10 月 2 日PDF文件第2页](/bimg/f/fbadf085076b59b546422f62427218b86ff06869.webp)
![arXiv:2006.05113v2 [cs.CL] 2020 年 10 月 2 日PDF文件第3页](/bimg/7/767da5394799a971a369db5ae20068530e6f6d21.webp)
![arXiv:2006.05113v2 [cs.CL] 2020 年 10 月 2 日PDF文件第4页](/bimg/5/55765065b0aeea0272380abaec7f0b2032649d2c.webp)
![arXiv:2006.05113v2 [cs.CL] 2020 年 10 月 2 日PDF文件第5页](/bimg/d/d2f810078b599a371668ada9acf7c6e2056e47ba.webp)
